Beschleunigen Sie die digitale Transformation mit einer einheitlichen Datenverarbeitungsplattform

Industrie

Technologie

Einführung

Wir haben geholfen

nDimensional

mit einer einheitlichen Datenverarbeitungsplattform, die wertvolle Zeit und Geld spart, den digitalen Wandel zu beschleunigen.

Zeit und Geld spart.

Über nDimensional

nDimensional, ein führendes Datenanalyse- und KI-Unternehmen, das Unternehmen dabei unterstützt, ihre Daten zu nutzen, um ein tieferes Verständnis für die Vorgänge in ihrem Unternehmen zu erlangen. Das Unternehmen benötigte einen skalierbaren Data Lake, der die Größe und Komplexität eines umfangreichen, wachsenden Datensatzes bewältigen konnte. Sie wandten sich an NashTech, um eine Technologiearchitektur zu entwerfen und zu entwickeln, die kosteneffektiv und effizient ist und dennoch flexibel genug, um ihre aktuellen und zukünftigen Anforderungen zu erfüllen.

Die Herausforderung

nDimensional wollte einen skalierbaren Data Lake entwerfen und entwickeln, der sowohl Batch- als auch Stream-Daten unterstützt und mit der eigenen Plattform zusammenarbeitet. Außerdem sollte eine in sich geschlossene Anwendung entstehen, die in ein Image (z. B. Docker) verpackt und auf einem beliebigen Cloud-Dienst oder vor Ort bereitgestellt werden kann.

Obwohl der grundlegende Ablauf der Anwendung sehr einfach war, bestanden die größten Herausforderungen darin:

Speicherung der Daten in einem einheitlichen Format, so dass für den Benutzer kein Unterschied zwischen Batch- und Stream-Daten besteht.
Der Zugriff auf die Daten sollte schnell erfolgen, d.h. auf der Grundlage einer Benutzeranfrage.
Verarbeitung von Batch/Stream unter Verwendung einer vom Benutzer bereitgestellten steckbaren Logik.

Lösung

NashTech hat an zwei wichtigen Teilen gearbeitet:

Fast API – Eine Schnittstelle, die verschiedene Aktionen für die Verarbeitung von Batch- und Streaming-Daten bietet. Außerdem helfen sie bei der Verbindung von Informationen aus Kafka und anderen statischen Ressourcen wie Dateien, DB(s), etc.
Microservice Service (basierend auf Lagom) für Hintergrundaufgaben – Er wurde entwickelt, um die Verarbeitungs-Engine für die Speicherung von Daten im Data Lake (S3 und Cassandra) zu entlasten und sie einem separaten Knoten zuzuweisen. Da der Dienst mit Lagom erstellt wurde, war er leicht in der Größe veränderbar und konnte überall eingesetzt werden.

Das Ergebnis

Der Technologie-Stack und die Architektur erfüllten die SLAs, die für die Plattform erforderlich waren. Die Anwendung war bestens für Reaktivität geeignet, und der gesamte Lightbend Reactive Technology Stack half dabei, dies zu erreichen. Derzeit befindet sich diese Plattform in der Beta-Version und funktioniert einwandfrei.

Die neue Plattform und die Technologien, die von NashTech empfohlen und entwickelt wurden, halfen nDimensional dabei, Folgendes zu erreichen:

Erstellung von Streaming- und Batch-Pipelines zusammen mit Workflows auf derselben Plattform.
Handhabung verschiedener Datenquellen wie Dateien, Tabellen, Streams (Kafka, Kinesis usw.) auf derselben Plattform.
Unterstützt 100.000 Streams mit null Latenz.
Drastische Erhöhung der Verarbeitungsgeschwindigkeit.
Erhebliche Erhöhung der Speicherkapazität.
Geld sparen und gleichzeitig ihr Geschäft ausbauen.